Federated embodied agent learning protects the data privacy of individual visual environments by keeping data locally at each client (the individual environment) during training. However, since the local data is inaccessible to the server under federated learning, attackers may easily poison the training data of the local client to build a backdoor in the agent without notice. Deploying such an agent raises the risk of potential harm to humans, as the attackers may easily navigate and control the agent as they wish via the backdoor. Towards Byzantine-robust federated embodied agent learning, in this paper, we study the attack and defense for the task of vision-and-language navigation (VLN), where the agent is required to follow natural language instructions to navigate indoor environments. First, we introduce a simple but effective attack strategy, Navigation as Wish (NAW), in which the malicious client manipulates local trajectory data to implant a backdoor into the global model. Results on two VLN datasets (R2R and RxR) show that NAW can easily navigate the deployed VLN agent regardless of the language instruction, without affecting its performance on normal test sets. Then, we propose a new Prompt-Based Aggregation (PBA) to defend against the NAW attack in federated VLN, which provides the server with a ''prompt'' of the vision-and-language alignment variance between the benign and malicious clients so that they can be distinguished during training. We validate the effectiveness of the PBA method on protecting the global model from the NAW attack, which outperforms other state-of-the-art defense methods by a large margin in the defense metrics on R2R and RxR.

由于缺乏深度，从单眼图像估算物体的准确3D位置是一个具有挑战性的问题。先前的工作表明，利用对象的关键点投影约束来估计多个深度候选者可以提高检测性能。但是，现有方法只能利用垂直边缘作为深度估计的投影约束。因此，这些方法仅使用少量投影约束并产生不足的深度候选物，从而导致深度估计不准确。在本文中，我们提出了一种利用任何方向边缘的密集投影约束的方法。这样，我们采用更多的投影限制并产生相当大的候选者。此外，我们提出一个匹配的加权模块，以合并深度候选。提出的方法DCD（密集约束的检测器）在KITTI和WOD基准测试中实现了最新的性能。代码在https://github.com/bravegroup/dcd上发布。

少量分割旨在培训一个分割模型，可以快速适应具有少量示例的新型课程。传统的训练范例是学习对从支持图像的特征上的查询图像进行预测。以前的方法仅利用支持图像的语义级原型作为条件信息。这些方法不能利用用于查询预测的所有像素 - WISE支持信息，这对于分割任务来说是至关重要的。在本文中，我们专注于利用支持和查询图像之间的像素方面的关系来促进几次拍摄分段任务。我们设计一种新颖的循环一致的变压器（Cyctr）模块，将像素天然气支持功能聚合到查询中。 Cyctr在来自不同图像的特征之间进行跨关注，即支持和查询图像。我们观察到可能存在意外的无关像素级支持特征。直接执行跨关注可以将这些功能从支持汇总到查询和偏置查询功能。因此，我们建议使用新的循环一致的注意机制来滤除可能的有害支持特征，并鼓励查询功能从支持图像上参加最富有信息的像素。所有几次分割基准测试的实验表明，与以前的最先进的方法相比，我们所提出的Cyctr导致显着的改进。具体而言，在Pascal-$ 5 ^ i $和20 ^ i $ datasets上，我们达到了66.6％和45.6％的5次分割，优于以前的最先进方法分别为4.6％和7.1％。

视频效果旨在通过给定的输入视频序列预测每个帧的α哑光。在过去的几年中，深度卷积神经网络（CNN）的最新解决方案一直由深度卷积神经网络（CNN）主导，这已成为学术界和工业的事实上的标准。但是，它们具有内置的局部归纳性偏见，并且由于基于CNN的架构而不会捕获图像的全局特征。在处理多个帧的特征图时，考虑到计算成本，他们还缺乏远程时间建模。在本文中，我们提出了VMFormer：一种基于变压器的端对端方法，用于视频垫子。它可以通过视频输入序列从可学习的查询中对每个帧的α哑光进行预测。具体而言，它利用自我发挥的层来建立特征序列的全局集成，并在连续帧上使用短距离的时间建模。我们进一步应用查询来通过在所有查询上使用远程时间建模的变压器解码器中的交叉注意来学习全局表示形式。在预测阶段，查询和相应的特征图均用于对Alpha Matte的最终预测。实验表明，VMFormer在合成基准测试上的表现优于先前基于CNN的视频效果方法。据我们所知，这是第一个基于完整视觉变压器建立的端到端视频底漆解决方案，并对可学习的查询进行预测。该项目在https://chrisjuniorli.github.io/project/project/vmformer/上开源

在统一框架中为检测和跟踪建模的时间信息已被证明是视频实例分割（VIS）的有希望的解决方案。但是，如何有效地将时间信息纳入在线模型仍然是一个空旷的问题。在这项工作中，我们提出了一个名为Inspeacity（IAI）的新的在线Vis范式，该范式以有效的方式对检测和跟踪进行建模。详细说明，IAI采用了一个新颖的识别模块来明确预测跟踪实例的标识号。为了传递时间信息跨框架，IAI使用了结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们对三个VIS基准进行了广泛的实验。 IAI在YouTube-VIS-2019（Resnet-101 41.9地图）和YouTube-VIS-2021（Resnet-50 37.7地图）上胜过所有在线竞争对手。令人惊讶的是，在更具挑战性的OVI上，IAI实现了SOTA性能（20.3地图）。代码可从https://github.com/zfonemore/iai获得

在本文中，我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地，并为这项具有挑战性的任务提出了一种简单而强大的选择性训练（SIRI）机制。特别是，Siri传达了视觉接地研究的重要原则，即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度，从而相应地提高性能。具体而言，随着训练的进行，我们不断更新编码器的参数，而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言，我们的方法在Refcoco+ Testa上达到了83.04％的TOP1精度，超过了最先进的方法（从头开始训练）超过10.21％。此外，我们透露，即使培训数据有限，Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证有效性。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

Fisheye镜头由于其广泛的视野（FOV）而增加了计算摄影和辅助驾驶的应用。但是，鱼眼图像通常包含其成像模型引起的无效黑色区域。在本文中，我们提出了一种鱼眼方法，该方法通过超越无效的地区来扩展鱼眼镜头的FOV，从而改善了被捕获的场景的完整性。与矩形和未发生的图像相比，Fisheye图像支出面临两个挑战：不规则的绘画区域和失真合成。在观察鱼眼图像的径向对称性时，我们首先提出了一种极地支出策略，以推断从中心到外部区域的相干语义。这样的支出方式考虑了径向失真和圆边界的分布模式，从而提高了更合理的完成方向。对于失真合成，我们提出了一个螺旋失真感知的感知模块，其中学习路径与Fisheye图像的扭曲保持一致。随后，场景修订模块将生成的像素与估计的失真重新安排以匹配鱼眼图像，从而扩展了FOV。在实验中，我们在三个受欢迎的户外数据集上评估了拟议的fisheeex：CityScapes，BDD100K和Kitti和一个真实世界的Fisheye Image DataSet。结果表明，我们的方法显着优于最先进的方法，超出原始鱼眼图像的内容多约27％。

本文研究了如何实现更好，更有效的学习学习，以解决在有挑战性的多对象方案下应对半监督视频对象细分。最先进的方法学会用单个正对象解码特征，因此必须在多对象方案下分别匹配和分割每个目标，从而多次消耗计算资源。为了解决问题，我们提出了一个与变压器（AOT）方法的关联对象，以共同且协作匹配和解码多个对象。详细说明，AOT采用识别机制将多个目标关联到相同的高维嵌入空间中。因此，我们可以同时处理多个对象的匹配和分割解码，就像处理单个对象一样有效地解码。为了充分模型多对象关联，设计了长期的短期变压器（LSTT）来构建层次匹配和传播。基于AOT，我们进一步提出了一个更灵活，更健壮的框架，将对象与可扩展的变压器（AOST）相关联，其中LSTT的可扩展版本旨在实现准确性效率折衷的运行时间适应。此外，AOST引入了更好的层次方式，以使识别和视力嵌入。我们对多对象和单对象基准进行了广泛的实验，以检查AOT系列框架。与最先进的竞争对手相比，我们的方法可以保持运行时效率的时间和卓越的性能。值得注意的是，我们在三个受欢迎的基准测试（即YouTube-VOS（86.5％），Davis 2017 Val/Test/Test（87.0％/84.7％）和Davis 2016（93.0％）（93.0％）上，我们实现了新的最先进性能。项目页面：https：//github.com/z-x-yang/aot。

在这项工作中，我们专注于互动人类解析（IHP），旨在将人体形象分成多个人体部位，具有来自用户的相互作用的指导。这项新任务继承了人类解析的类感知属性，其无法通过通常是禁止类别的传统交互式图像分割方法很好地解决。为了解决这项新任务，我们首先利用用户点击以识别给定图像中的不同人为部分。随后将这些点击转换为语义感知的本地化映射，其与RGB图像连接以形成分割网络的输入并生成初始解析结果。为了使网络能够更好地了解用户在校正过程中的目的，我们调查了改进的几个主要方法，并揭示了基于随机采样的点击增强是推广校正效果的最佳方式。此外，我们还提出了一种语义感知损失（SP损失）来增加培训，这可以有效利用点击的语义关系以获得更好的优化。为了最好的知识，这项工作是第一次尝试在交互式设置下解决人类解析任务。我们的IHP解决方案在基准嘴唇上实现了85 \％Miou，Pascal-Person-Part和CiHP，75 \％Miou，只有1.95,3.02,2.84和每班3.09点击的Helen。这些结果表明，我们只需几个人类努力就可以获得高品质的人类解析面具。我们希望这项工作能够激励更多的研究人员在未来为IHP开发数据有效的解决方案。